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(57) Abstract: The invention concerns a method and a system for three-dimensional reconstruction of an image representing the 
surface contours of at least an object (1), from at least a two-dimensional view of said object obtained by X-ray, which consists in: 
determining the position of the photographing source (7) in a reference repository; selecting a predefined model constituting a mean 
form of the object, and repeating the process until the contours of the model are such that the variations between the overhead projec- 
tion rays of the contours of the two-dimensional image from the source and the model surface are minimal; selecting an orientation 
and a position for the model in the reference repository; then selecting a deformation of the model to modify its contours in three 
dimensions. 
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En ce qui concerne les codes a deux lettres et autres abrevia- 
tions, se referer aux "Notes explicatives relatives aux codes et 
abreviations "figurant au debut de chaque numero ordinaire de 
la Gazette du PCT. 



(57) Abrege: L' invention concerne un procede et un systeme de reconstitution d'une image en trois dimensions representant les 
contours surfaciques d'au moins un objet (1), a partie d'au moins une vue en deux dimensions de cet objet prise aux rayons X, dans 
lesquels on determine la position de la source (7) de prise de vues dans un referentiel de reference, on selectionne un modele predefini 
constituant une forme moyenne de V objet et, de facon iterative jusqu' a ce que les contours du modele soient tels que les ecarts entre 
des rayons de retroprojection des contours de Timage en deux dimensions depuis la source et la surface du modele soient minimaux, 
on selectionne une orientation et une position du modele dans le referentiel de reference, puis on selectionne une deformation du 
modele pour modifier ses contours en trois dimensions. 
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RECONSTITUTION STATISTIQUE DE SURFACES EN TROIS DIMENSIONS 



La presente invention concerne la reconstitution dama- 
ges en trois dimensions et, plus particulierement , la reconstitu- 
tion des contours surfaciques d f une image a partir de vues, meme 
incompletes , en deux dimensions. 
5 Un exemple d ! application de la presente invention est 

la reconstitution d' images representant des elements osseux a 
partir d' images en deux dimensions prises, par exemple, aux 
rayons X. De telles images peuvent servir, par exemple, a simuler 
une intervention chirurgicale en permettant au praticien de pre- 

10 visualiser les positions respect ives des os au niveau d'une arti- 
culation, par exenple, en cas de plastie ligamentaire ou de mise 
en place de prothese. 

Aujourd'hui, pour permettre au praticien de visualiser 
une image en trois dimensions a partir d 1 images en deux dimen- 

15 sions, on est contraint d'utiliser un scanner a rayons X effec- 
tuant des tomographies. A partir de ces tomographies, on sait 
reconstituer une image en trois dimensions. Soit il s'agit d f une 
technologie dite de tomographies en trois dimensions dans 
laquelle un grand nombre de vues (de l'ordre de 200) sont prises 

2 0 au moyen d f un scanner a rayons x selon differentes positions, et 
les contours de l ! os sont alors reconstitues par traitement 
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d' image a partir de ces vues au scanner. Soit il s'agit d ! une 
technologie dite de tomcgraphies en deux dimensions dans laquelle 
un grand noxibre de coupes sont prises au moyen d'un scanner a 
rayons X transversalement £ l'os. On peut alors reconstituer 
5 1 1 allure et la structure de l'os. 

La technique du scanner donne de bons resultats mais 
est d'une mise en oeuvre lourde et couteuse. En effet, 1' utilisa- 
tion d'un scanner permet d T obtenir un ensemble d 1 images en deux 
dimensions fournissant non seulement des informations sur le 

10 contour mais egalement sur 1'interieur de l f os. Or, dans de ncm- 
breuses applications, seule la connaissance du contour surfacique 
de l'os ou de l'objet est necessaire. 

Un autre exemple d 1 application de la presente invention 
est la reconstitution d'ossements incomplets, par exemple, en 

15 archeologie. line reconstitution d 1 images en trois dimensions peut 
permettre de retrouver de fagon quasi-parf aite la forme origi- 
nelle de l ! os meme si celui-ci est decouvert de fagon incomplete. 
Dans une telle application, des prbblemes sitnilaires a ceux expo- 
ses ci-dessus en relation avec la simulation d ' interventions chi- 

2 0 rurgicales se posent. En particulier, il est souvent utile de 

connaitre la forme de l'os sans avoir a se preoccuper de sa 
structure interne. 

Un autre inconvenient des techniques connues est 
qu'elles inposent une dose de radiations import ante pour le 
25 patient ce qui n f est pas souhaitable. Si cet inconvenient est 
moins sensible dans le domaine de 1 1 archeologie ou c'est le cout 
qui predomine, il est particulierement genant dans la simulation 
d 1 interventions chirurgicales . 

La presente invention s 1 applique plus particulierement 

3 0 a la reconstitution d f images se rapport ant a des dbjets identi- 

fies, c ! est-a-dire, dont on connait a I'avance la forme generale. 
Par exenple, pour un os, il faut au prealable decider de quel os 
il s'agit. 

La presente invention vise a proposer un nouveau pro- 
35 cede de reconstitution d' images en trois dimensions qui pallie 
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les inconvenient s des techniques connues. L ! invention vise, en 
particulier, a proposer une solution qui ne necessite pas l f em- 
ploi couteux d ! un scanner a rayons X. 

La presente invention vise egalement a proposer une 
5 solution qui soit compatible avec une exposition minimale aux 
rayons X ou equivalents. 

L» invention vise en outre a minimi ser le nombre de vues 
en deux dimensions necessaires pour reconstituer 1 1 image en trois 
dimensions . 

10 Pour atteindre ces objets, la presente invention pre- 

voit un procede de reconstitution d'une image en trois dimensions 
representant les contours surfaciques d ! au moins un objet, a par- 
tir d'au moins une vue en deux dimensions de cet objet prise aux 
rayons X, caracterise en ce qu'il consiste a : 

15 determiner la position de la source de prise de vues 

dans un referentiel de reference ; 

selectionner un modele predgfini constituant une forme 
moyenne de 1' objet ; et 

de fagon iterative jusqu'a ce que les contours du 

2 0 modele soient tels que les ecarts, entre des rayons de retropro- 

jection des contours de 1' image en deux dimensions depuis la 
source et la surface du modele, soient minimaux : 

selectionner une orientation et une position du modele 
dans le referentiel de reference, puis 
25 selectionner une deformation du modele pour modifier 

ses contours en trois dimensions. 

Selon un mode de realisation de la presente invention, 
le modele est obtenu a partir d'une population d 1 objets pour 
laquelle on recherche la correspondence statistique commune a 

3 0 tous les objets pour determiner une forme moyenne et les deforma- 

tions principales par rapport a cette forme moyenne, de fagon a 
disposer d'au moins un modele statistique. 

Selon un mode de realisation de la presente invention, 
les etapes de selection iteratives consistent a faire subir au 
35 modele statistique, successivement, une transformation rigide 
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modifiant sa position et/ou son orientation et une deformation 
non-rigide modifiant ses contours surfaciques. 

Selon un mode de realisation de la presente invention, 
les contours de l 1 image en deux dimensions sont obtenus automati- 
5 quement en projetant le modele dans le plan de 1' image en deux 
dimensions, et en deformant les contours projetes de fagon a les 
faire coincider avec les points de fort gradient en niveaux de 
gris de 1 " image en deux dimensions . 

Selon un mode de realisation de la presente invention, 
10 la determination automatique des contours de 1 1 image en deux 
dimensions est effectuee de fagon iterative, chaque iteration 
etant intercalee entre deux iterations successives des etapes de 
selection. 

Selon un mode de realisation de la presente invention, 
15 on determine, dans le referentiel de reference, des coordonnees 
en trois dimensions de points de I'objet, de fagon a disposer de 
points de reference supplementaires pour les etapes de selection 
iteratives de position, orientation, et deformation. 

Selon un mode de realisation de la presente invention, 

2 0 on utilise plusieurs images en deux dimensions pour lesquelles 

les positions respectives de la source de prise de vues sont tou- 
tes determinees dans le referentiel de reference, et on effectue 
les etapes de selections iteratives en tenant compte des rayons 
de retroprojection des contours de toutes les images en deux 
25 dimensions. 

Selon un mode de realisation de la presente invention, 
le norribre d f images utilise est fonction de la precision souhai- 
tee. 

Selon un mode de realisation de la presente invention, 

3 0 la surface du modele est constitute d' elements de triangle, les- 

dits ecarts etant mesures par rapport a des points de certaines 
aretes constituant des generateurs du contour en trois dimen- 
sions . 

Selon un mode de realisation de la presente invention, 
35 le procede est applique a la reconstitution des contours surfaci- 
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ques de plusieurs dbjets lies entre eux par des relations de 
transformation rigide et/ou elastique. 

Selon un mode de realisation de la presente invention, 
le procede est applique a la reconstitution d f images d'os. 

L' invention concerne egalement un systeme de traitement 
d' images, comport ant des moyens pour la mise en oeuvre du procede 
de reconstitution d f images en trois dimensions. 

Ces dbjets, caracteristiques et avantages, ainsi que 
d'autres de la presente invention seront exposes en detail dans 
la description suivante de modes de realisation particuliers 
faite a titre non-limitatif en relation avec les figures jointes 
parmi lesquelles : 

la figure 1 represente un mode de realisation d f un sys- 
tems de reconstitution d ! images en trois dimensions a partir d'un 
dispositif de prise de vues en deux dimensions selon la presente 
invention ; 

la figure 2A illustre la prise d'une vue en deux dimen- 
sions pour la mise en oeuvre du procede de reconstitution d' ima- 
ges en trois dimensions selon la presente invention ; 

la figure 2B illustre la prise de trois vues en deux 
dimensions pour la mise en oeuvre du procede de reconstitution 
selon la presente invention ; 

les figures 3A, 3B et 3C illustrent trois etapes carac- 
teristiques du procede selon un mode de realisation de la pre- 
sente invention / 

la figure 4 illustre un mode de determination de gene- 
rateurs de contour selon la presente invention ; et 

la figure 5 illustre un mode de determination prefere 
selon 1 ! invention de l'ecart entre un modele en trois dimensions 
et une vue en deux dimensions. 

Les memes elements ont ete designes par les memes refe- 
rences aux differentes figures qui ne sont pas a l'echelle. Pour 
des raisons de clarte, seuls les elements qui sont necessaires a 
la comprehension de l 1 invention ont ete representes aux figures 
et seront decrits par la suite. En particulier, les moyens de 
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traitement damages comprenant les calculateurs inf ormatiques 
n'ont pas ete representes et ne seront pas decrits de fagon 
detaillee, car leur realisation est a la portee de l'hotrme du 
metier a partir des indications fonctionnelles donnees ci-apres. 
5 Une caracteristique de la presente invention est de 

rechercher la position et 1 1 orientation d'un objet a reconsti- 
tuer, et dont on connaxt au mains une vue en deux dimensions, a 
partir d'une base de donnees contenant des modeles de cet objet. 
Quand plusieurs vues en deux dimensions sont utilisees, ces vues 

1 0 sont toutes ref erencees dans un mane referential . Ainsi , 1 1 inven- 
tion concerne la reconstitution d'une image representant un objet 
deja identifie et dont on peut disposer de modeles de taille 
et/ou de forme differentes. 

Une caracteristique d'un mode de realisation prefere de 

15 la presente invention est d'utiliser au moins un modele statisti- 
que deformable, etabli a partir de la base de donnees, pour 
reconstituer la forme en trois dimensions de l 1 objet. Ainsi, 
1' invention prevoit de definir, avant toute reconstitution, une 
base de donnees contenant des modeles en trois dimensions de 

2 0 I'objet a reconstituer ou, de preference, un ou plusieurs modeles 

statistiques deformables a partir de cette base de donnees. 

La figure 1 represente une vue schematique d'un systeme 
de reconstitution d 1 images en trois dimensions selon un mode de 
realisation de la presente invention. L'exemple de la figure 1 
25 concerne la reconstitution de l 1 image d'un os 1 a partir de 
radiographics en deux dimensions. En figure 1, on a represente 
schematiquement et partielleraent le corps d'un patient p dont la 
jambe contient l'os 1 que l'on souhaite visualiser. La jambe du 
patient p (done l'os l) est, par exemple, pose sur une table 2. 

3 0 Une potence 3 porte un dispositif 4 de localisation en trois 

dimensions qui peut etre optique, magnet ique, mecanique ou ultra- 
sonore et qui repere la position et 1' orientation de multiples 
capteurs-emetteurs const itu£s, par exenple, de diodes infra- 
rouges, de reflecteurs, d'emetteurs magnet iques, a ultrasons, 
35 etc. Un tel localisateur est parfaitement connu et ne sera pas 
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detaille plus avant. On notera simplement que, pour garantir une 
localisation correcte du patient (de l f os 1), celui-ci est gene- 
ralement egalement equipe d'un capteur-emetteur 18 detectable par 
le localisateur 4. En effet, selon 1' invention, toutes les vues 
5 doivent pouvoir etre exploitees dans un meme referentiel (de 
reference), qui est associe a l'objet que l'on reconstitue. 

Plusieurs capteurs-emetteurs peuvent etre fixes sur le 
systeme de radiologie, proche de la source 7 (capteur-emetteur 
19) ou proche d'un detecteur d 1 image 9 (capteur-emetteur 5), de 

10 fagon a reperer la position du systeme de radiologie par rapport 
au ref erentiel de reference du capteur-emetteur 18. 

Dans certains cas, les capteurs-emetteurs 5 et 19 sont 
difficilement reperables en raison de leur eloignement ou de la 
presence d'objets parasites dans le chanp de mesure du localisa- 

15 teur 4. Dans ce cas, un capteur-emetteur 20 peut etre installe 
sur la table 2 dans le chanp de mesure du localisateur 4. On 
positionne alors le systeme radiologique dans de bonnes condi- 
tions de mesure et on repere les positions des capteur-emetteurs 
5 et 19 par rapport au capteur-emetteur 20 une fois pour toutes 

2 0 (on ne renouvelle cette etape que si on bouge le systeme de 
radiologie dans son ensemble) . 

Le systeme radiolcgique etant equipe de codeurs angu- 
laires sur ses axes, corrme cela sera detaille plus loin, les 
changements de position relative du systeme radiologique sont 

2 5 mesures a l'aide de ces codeurs et peuvent ainsi etre reportes 

dans le referent iel du capteur-emetteur 20. Pour chaque prise de 
vue, on mesure la relation geometrique entre les capteurs- 
emetteurs 20 et 18 et, par ce biais, on reporte la position du 
systeme radiologique dans le referentiel de reference du capteur- 

3 0 emetteur 18. Ainsi, toutes les radiographies sont calibrees dans 

le referentiel du capteur-emetteur 18 qui peut etre mobile. 

Le dispositif 6 est, par exemple, constitue d'une 
source 7 a rayons X portee par une premiere extremite d'un bras 8 
en demi-cercle dont 1* autre extremite est destinee a recevoir le 
35 film 9 d'iirpression de la radiographic, ou un capteur electroni- 
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que equivalent tel qu'un amplif icateur de brillance, ou un detec- 
teur plat au silicium amorphe. La relation entre le bras 8 et la 
table 2 est telle que cette derniere se trouve entre la source 7 
et le .capteur 9. Le bras 8 est monte a rotation autour d'un axe 
5 10, motorise ou a deplacement manuel, et porte par une potence 
11. L 1 ensemble de prise de vues en deux dimensions peut ainsi 
tourner autour de l'os 1 pour effectuer le nombre desire de 
radiographics de celui-ci. Le cas ech^ant, le localisateur opti- 
que 4 peut etre associe a un dispositif de codage angulaire de la 

10 position de l'axe 10. 

L ' ensemble est pilote par un systeme inf ormatique, par 
exemple, ion ordinateur 12 associe, de preference, a un ecran de 
visualisation 13. A la figure 1, on a symbolise par des liaisons 
unifilaires 14, 15, 16 et 17, les bus informatiques d'echange de 

15 signaux electriques de commande et de donnees entre 1' ordinateur 
12 et, respectivement, le localisateur 4, la source 7, le moteur 
ou le codeur optionnel de l ! axe 10 et le capteur 9. 

Les figures 2A et 2B illustrent deux modes de prises de 
vues selon deux modes de realisation de la presente invention. 

2 0 Aux figures 2A et 2B, les vues en deux dimensions ont ete repre- 

sentees par les plans respectifs dans lesquelles elles sont pri- 
ses, c f est-a-dire par 1 ! allure de la surface du capteur 9 (figure 
1) lors des prises. Cela correspond aux images radiographiques en 
deux dimensions recuperees par le systeme inf ormatique . 
25 La figure 2A represente le cas d'une seule prise de vue 

dans un plan PI, fournissant une image II de l'os 1. La position 
de la source 7 a ete symbolisee par un point ou convergent des 
rayons r de retrqpro j ection des quatre coins du plan PI. 

La figure 2B represente le cas d'une triple prise de 

3 0 vues dans des plans PI, P2 et P3 r fournissant trois images II, 12 

et 13 en deux dimensions de l'os 1. En figure 2B, la position de 
la source n'est pas constante, celle-ci est differente pour cha- 
que prise de vue. Toutefois, grace au localisateur 4, toutes les 
positions de la source sont connues dans le referentiel de refe- 
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rence. Par soucis de clarte, seuls les rayons rl des quatre coins 
du plan PI dans la position de 1 1 image II ont ete representes. 

On not era que la source de prises de vues peut subir, 
entre .deux images en deux dimensions, d'autres mouvements que 
5 dans un meme plan comme illustre par les figures 1 et 2B. En 
d'autres termes, le bras 8 du systeme de prises de vues G peut 
presenter plus de deux degres de liberte, dont chacun pourra etre 
muni d'un dispositif de codage angulaire. Selon un mode de reali- 
sation prefere, le bras 8 est monte sur deux axes de rotations 

10 horizontal et vertical et un axe de translation vertical. 

On not era egalement que les images en deux dimensions 
peuvent n'etre que partielles. Par exemple, dans 1 ' application 
aux radiographies , celles-ci peuvent etre interpretees par l'ope- 
rateur pour valider les contours des vues en deux dimensions a 

15 prendre en compte pour la reconstitution. Une telle interpreta- 
tion n'est pas genante en raison du faible norribre de vues en deux 
dimensions necessaire selon I 1 invention (moins de dix en gene- 
ral) . La validation des contours dans le systeme informatique 
peut etre effectuee, par exenple, au moyen d'une souris, d'un 

2 0 crayon optique, d'un ecran tactile, ou equivalent, de fagon clas- 

sique pour un enregistrement de contour sur une image en niveaux 
de gris. 

Selon un autre mode de realisation prefere, la determi- 
nation des contours sur les images radiographiques est automati- 
25 see en mettant en oeuvre un precede dit de recalage en deux 
dimensions. Un tel procede consiste a determiner le contour de 
fagon automatique par analyse des gradients les plus forts en 
niveaux de gris. Ce procede est decrit, pair exemple, dans la 
these de Gelu Ionescu, presentee publiquement le 4 deceitibre 1998 

3 0 a l f University Joseph Fourier de Grenoble (France), et ayant pour 

titre "Segmentation et recalage d' images echographiques par uti- 
lisation de connaissances physiologiques et morphologiques " . 
Selon l 1 invention, on met en oeuvre ce procede de recalage en 
deux dimensions en combinaison avec une projection, sur 1 ! image 
35 en deux dimensions, du modele statistique deformable de l'objet 
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dont on souhaite reconstituer les contours surfaciques en trois 
dimensions. On effectue une analyse iterative d f un contour pro- 
jete du modele sur 1 ! image en deux dimensions jusqu'a obtenir, 
apres plusieurs passes (par exemple de 3 a 10) , une identite 
5 entre le contour du modele pro j ete qui sera decrit ci- apres et 
dont 1 ' orientation et la deformation auront ete adaptes par le 
procede de 1 ! invention, et le contour determine par analyse des 
gradients les plus forts en niveaux de gris. Cette combinaison 
sera mieux comprise par la suite en relation avec la figure 5. 

10 Pour simplifier la presente description, on considerera 

ci- apres que les contours des vues en deux dimensions sont 
connus. En pratique, les etapes du precede de 1' invention seront 
effectuees en boucle, y compris le recalage en deux dimensions, 
jusqu'a bbtenir un resultat satisf aisant . 

15 Selon 1 ! invention, une fois que la ou les vues en deux 

dimensions ont ete dbtenues, il reste a determiner, par recherche 
de correspondance dans la base de donnees, la forme et la taille 
de 1' ob jet (ici, l f os) en trois dimensions* 

Pour ce faire, l f invention prevoit de rechercher le 

2 0 modele pour lesquelles les distances separant les contours de 

chaque vue en deux dimensions et la surface du modele sont mini- 
males . 

Dans le mode de realisation pre fere ou on utilise un 
modele statistique deformable (definissant ainsi une famille de 
25 modeles) de l'objet a reconstituer, on recherche a s'approcher le 
plus possible, par deformation iterative de ce modele, de la 
forme dont les contours sont tels que, conme on le verra par la 
suite en relation avec la figure 5, les rayons de retroprojection 
s'appuyant sur les points des contours de l 1 image (ou des images) 

3 0 en deux dimensions depuis la source (ou depuis leurs sources 

respect ives) sont tous tangentiels a la surface du modele, etant 
entendu que les differents contours en deux dimensions sont 
reperables dans le referentiel de reference. 

La realisation du modele statistique deformable en lui 
35 meme ne fait pas l'objet de la presente invention et est parfai- 
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tement classique. On se bornera a rappeler que la realisation 
d'un tel modele fait general ement appel a une recherche d'une 
forme moyenne d'une population d'objets de meme type (par exem- 
pie, des femurs) const ituant la base de donnees, suivie d f une 
5 analyse en composantes principales pour determiner les deforma- 
tions principales (essentielles) a appliquer a cette forme 
moyenne et obtenir ainsi le modele statistique. 

une methode de determination d'un modele statistique a 
partir d'une famille d'echantillons est decrite, par exemple, 

10 dans 1' article "Building a Complete Surface Model from Sparse 
Data Using Statistical Shape Models: Application to Computer 
Assisted Knee Surgery" de Markus Fleute et Stephane Lavallee, 
paru dans MEDICAL IMAGE COMPUTING AND COMPUTER -ASSISTED 
INTERVENTION - MICCAI'98, Springer- Verlag LNCS Series, pages 880- 

15 887, en Octobre 1998, et dont le contenu est incorpore ici par 
reference. On notera que la precision de la reconstruction des 
contours surfaciques operee par 1' invention depend des echantil- 
lons utilises pour construire la base de donnees du modele sta- 
tistique. Par exemple, si un modele statistique de femur est cree 

2 0 a partir d'une population d'echantillons ayant des formes norma - 

les (sans pathologie) , on pourra reconstituer avec precision des 
formes normales mais la precision sera limitee si le femur radio- 
graphic a une forme pathologique . Par contre, si le modele stati- 
stique est cree a partir d'une grande population d'echantillons 
25 contenant a la fois des formes normales et des formes pathologi- 
ques, on pourra reconstituer, avec precision, des dbjets normaux 
et pathologiques . 

Selon 1' invention, une fois que l'on dispose des images 
en deux dimensions, on recherche le cas echeant a quel modele 

3 0 contenu dans la base de donnees ces images se rapprochent le plus 

(par exemple, si plusieurs types d'os ou si plusieurs modeles 
statistiques d'un meme os sont disponibles) , puis on applique des 
transformations a ce modele pour s'approcher le plus possible 
d'une image en trois dimensions, telle que les rayons de retro- 
35 projection des images jusqu'a leurs sources respect ives sont tan- 
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gentiels aux surfaces de l f image en trois dimensions, placee sur 
le trajet de ces rayons et dont ils sont respect ivement les plus 
proches . 

De preference, on commence par faire subir au modele 
5 initial au repos, c'est-a-dire correspondant a la forme moyenne, 
une transformation dite rigide, c'est-a-dire, ne touchant qu'a 
son orientation et sa translation dans l'espace. Puis, quand on a 
cbtenu la position pour laquelle les rayons de retroproj ection 
sont tous a une distance minimale des contours du modele initial, 

10 on fait subir une deformation non-rigide au modele, c'est-a-dire 
que sans modifier son orientation, on modifie sa forme a partir 
des donnees contenues dans la base statistique en modifiant les 
coefficients des modes principaux du modele, jusqu'a cbtenir la 
forme dont les contours se rapprochent le plus des rayons de 

15 retroproj ection. Le cas echeant, le modele est prepositionne de 
fagon tres approximative par l'operateur par rapport aux vues en 
deux dimensions affichees a l'ecran. On notera que les moyens 
(informatiques) de traitement d' images utilises sont classiques 
dans leur structure et n'ont done pas besoin d'etre detailles. 

2 0 Laes figures 3A a 3C illustrent ces deux etapes du pro- 

cede de 1' invention. La figure 3A represente une vue en trois 
dimensions d'un modele 21 avant toute deformation. II s'agit, par 
exemple, d'un modele statistique de 1' invention posit ionne par le 
praticien dans une orientation approximative. La figure 3B repre- 
25 sente le modele 21' de la figure 3A a 1' issue de l'Stape d 1 orien- 
tation sans modification de forme. La figure 3C represente 
1 ' image 22 en trois dimensions resultant de la mise en oeuvre de 
l 1 invention, c'est-a-dire correspondant au modele 21 », deforme 
pour que les rayons de retroproj ection soient (idealement) tan- 

3 0 gents a tous ses contours. 

Par souci de simplif ication, un seul groupe de rayons r 
de retroproj ection depuis une source 7 ont ete representes aux 
figures 3A a 3C et l'ecran de projection de 1' image correspon- 
dante n'a pas ete represente. Comme il ressort des figures 3A a 
35 3C, un grand nombre de rayons r de la figure 3A ne sont pas tan- 
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gents aux contours du modele 21. Le nombre de rayons de retropro- 
jection utilise depend de la precision souhaitee et des caracte- 
ristiques du modele statistique, essentiellement , du nombre de 
points surfaciques choisis pour servir de reference lors de la 
5 definition de ce modele statistique. 

De la figure 3A a la figure 3B, la transformation est 
"rigide", c'est-a-dire que le modele n'est pas deforme. Lors de 
cette transformation, le modele 21 subit des translations et 
rotations afin d'obtenir des mesures d'ecarts minimum entre 

10 chaque rayon de retroprojection partant des points de contour de 
1' image et la surface de l'objet dans sa position courante. On 
utilise pour cela des methodes mathematiques de recherche du 
minimum de la somme des carres de ces ecarts par rapport aux six 
parametres (trois degres de liberte en rotation et trois degres 

15 de liberte en translation) definissant la transformation rigide 
recherchee. On obtient une configuration telle qu'illustree par 
la figure 3B dans laquelle le modele 21 1 a une position et 
orientation correcte mais une forme encore imparfaite. C'est 
pourquoi certain rayons r 1 ne sont pas tangents mais traversent 

2 0 le modele. 

De preference, la position resultant de la transforma- 
tion rigide (rotation, translation) est obtenue par une methode 
(algorithme) dite du point le plus proche (Iterative Closest 
Point, ICP) . Un exemple d f une telle methode est decrit dans 1 ' ar- 

2 5 ticle "A Method for Registration of 3-D Shapes" de Paul J". Best 

et Neil D. McKay, paru dans IEEE TRANSACTIONS ON PATTERN ANALYSIS 
AND MACHINE INTELLIGENCE, vol. 14, NO. 2, en fevrier 1992, et 
dont le contenu est incorpore ici par reference. 

De la figure 3B a la figure 3C, la transformation est 

3 0 "non- rigide" (elastique) et consiste a deformer le modele 21 f 

sans changer son orientation jusqu'a obtenir l 1 image 22 en trois 
dimensions pour laquelle tous les rayons de retroprojection r" 
sont a une distance minimale des contours (idealement tangents) . 
Cette transformation non-rigide est effectuee, par exemple et 
3 5 selon un premier mode de realisation, en calculant les parametres 



WO 01/22368 



PCT/FR00/02546 



14 



de d§formation a partir d'un algorithme connu sous la dencmina- 
tion anglo- saxonne "Down Hill Simplex" . Cet algorithme a ete 
decrit, par exercple, en 1965 par J. A. Nelder et R. Mead dans 
COMPUTER JOURNAL, vol. 7, pages 308-313, dont le contenu est 
5 incorpore ici par reference. 

Selon un mode de realisation prefere de 1 T invention, 
1 1 algorithme utilise pour determiner la transformation non-rigide 
du modele statistique est bast sur la methode de Levenberg- 
Marquardt. Le principe de cette methode est de determiner le 

10 minimum d'une fonction non-lineaire multidimensionnelle en utili- 
sant les derivees partielles de la fonction par rapport aux para- 
metres de deformation du modele. Cette methode a ete decrite, par 
exemple, en 1963 par D.W. Marquardt dans JOURNAL OF THE SOCIETY 
FOR INDUSTRIAL AND APPLIED MATHEMATICS, vol. 11, pages 431-441, 

15 dont le contenu est incorport ici par r€f6rence. La fonction dont 
on cherche le minimum est ici la somme des carres des distances 
entre un ensemble de rayons de retroprojection s'appuyant sur les 
points de contours et la surface du modele. Les parametres de la 
recherche du minimum sont les coefficients que l ! on applique a 

2 0 chaque mode de deformation du modele statistique, ainsi que cela 

est presente dans 1 ! article "Building a Complete Surface Model 
from Sparse Data Using Statistical Shape Models: Application to 
Computer Assisted Knee Surgery" de Markus Fleute et Stephane 
Lavallee, deja cite. 
25 Cette methode est appliquee et repetee a chaque 

position approchee jusqu'a ce qu f il ne soit plus possible de 
minimiser les ecarts. On enchaine ainsi un recalage rigide, un 
recalage elastique, un recalage rigide, un recalage elastique, 
etc. Une fois la forme en trois dimensions reconstitute , sa 

3 0 taille est bien entendu egalement connue dans la mesure ou toutes 

les vues en deux dimensions ont des tailles connues, de meme que 
la position, dans le referentiel de reference, du modele par rap- 
port aux sources. Le nombre de passes necessaire depend essen- 
tiellement du nombre de parametres caracteristiques utilises pour 
35 modeliser la deformation. 
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On notera que l'ordre dans lequel sont effectuees les 
deux etapes ci-dessus est important. En effet, si on commence par 
effectuer une deformation non-rigide, on va faire correspondre un 
modele avec une mauvaise orientation qu'il sera tres difficile a 
5 recuperer en raison de la deformation de forme subie. Toutefois, 
la minimisation des ecarts peut etre effectuee globalement en 
prenant en compte les parametres rigides et les parametres de 
deformations en raerae temps a chaque iteration du processus mat he - 
matique de minimisation, 

10 On notera que, a chaque etape iterative du procede dans 

laquelle on calcule les ecarts entre les contours du modele et 
les rayons de retroprojection, de nouveaux points entrant dans la 
mesure sont determines cote modele et/ou cote rayons de projec- 
tion. Ceci constitue une distinction importante par rapport a des 

15 procedes connus de reconstitution d 1 images en trois dimensions 
dans lesquels les points de mesure sont les mimes pour toutes les 
iterations . 

Une autre caracteristique de la presente invention est 
que les evaluations des ecarts minimaux ne sont pas necessaire- 

20 ment faites de fagon exhaustive pour tous les elements de surface 
du modele. En effet, cela conduirait parfois a des calculs trop 
dispendieux meme si le nombre d ! elements de surface peut etre 
minimise en utilisant des elements triangulaires . Selon 1' inven- 
tion, les evaluations d f ecarts sont faites par rapport a des 

25 lignes caracteristiques constituant des generateurs de contours 
du modele. Cela minimise le nombre de points de mesure. Par exem- 
ple, un os de type femur, defini par environ 5000 bords de surfa- 
ces triangulaires, est defini par environ 300 generateurs de 
contours . 

3 0 De preference, 1 ! analyse effectuee par le procede de 

1 1 invention ne touche que des generateurs de contour de 1 ' image 
en trois dimensions. Ainsi, la surface du modele statistique est, 
de preference, formee d 1 elements triangulaires dont certaines 
aretes definissent des generateurs du contour. Uh generateur de 

35 contour est defini par les aretes (bords) des triangles qui, pro- 
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jetes sur un plan, definissent le contour (interne ou externe) . 
Le recours aux generateurs de contours permet de reduire conside- 
rablement (par exemple, d'au moins un facteur 10) le nombre de 
points a chercher dans le modele pour verifier la correspondance 
5 avec 1 1 image reconstitute . 

La figure 4 illustre la definition d'un generateur de 
contour d ! une image (modele) en trois dimensions dont la surface 
est formee d' elements de surface triangulaires tels que decrits, 
par exemple, dans 1' article "Anatomy-based registration of ct- 

10 scan and intraoperative x-ray images for guiding a surgical 
robot" de A. Gueziec, paru dans IEEE TRANSACTIONS ON MEDICAL 
IMAGING, 17(5), pages 715-728, en octobre 1998, et dont le 
contenu est incorpore ici par reference. 

La figure 4 represente, de fagon simplifiee, deux 

15 triangles 30 et 31 definissant une portion de surface d'un modele 
en trois dimensions et dont 1' arete commune constitue une genera- 
trice 32 du contour. Le calcul a effectuer pour determiner si une 
arete constitue ou non une generatrice du contour consiste a cal- 
culer les angles a et p respectifs entre les normales aux surfa- 

2 0 ces des triangles 30 et 31 et les rayons 33 et 34 reliant le 

centre de ces surfaces au centre 35 de projection correspondent a 
la position de la source de rayons X. Si l'un des angles est 
inferieur a 90° tandis que 1' autre est superieur a 90° , leur 
arete commune 32 est alors une generatrice du contour. 
25 La figure 5 illustre le type de mesure effectuee pour 

determiner l'^cart e entre un rayon r de retroprojection et un 
point d'un generateur de contour. Cette figure represente, de 
fagon schematique, une image I de l ! objet dans un plan P et une 
forme 21 du modele statist ique placee sur le trajet des rayons de 

3 0 retroprojection de l f image I jusqu'a la source (non representee) . 

Pour chaque rayon de retroprojection r, on cherche les 
points respectifs 41 et 40 du rayon de retroprojection et d'un 
generateur de contour choisi parmi tous les generateurs, pour 
lequel l'ecart e entre ces points est minimal. 
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Un avantage de la presente invention est qu'elle permet 
une reconstitution beaucoup plus rapide d'une image en trois 
dimensions par rapport aux techniques connues . 

Un autre avantage de la presente invention est qu ' elle 
5 permet un alignement correct du modele meme dans des zones ou on 
ne dispose pas de donnees de projection par les images en deux 
dimensions (par exemple, certaines courbures internes) . 

On notera que le contour de surface pourra, le cas 
echeant , etre affine au moyen d'un palpeur mecanique, qptique ou 
10 magnet igue fournissant des coordonnees spatiales dans le meme 
referentiel que les images en deux dimensions. On dbtient alors 
des points supplementaires qui peuvent etre utilises dans la 
recherche de l f image en trois dimensions. Le recours a un palpeur 
peut servir, par exemple, a diminuer le nombre de vues en deux 
15 dimensions necessaires en donnant une information en trois dimen- 
sions . 

On notera egalement que le procede de 1 1 invention peut 
s ' appliquer a plusieurs contours surf aciques en trois dimensions 
constituant un ou plusieurs cfojets. Par exemple, on peut ainsi 

2 0 reconstituer simultanement la surface externe et la surface cor- 

ticale interne d'un os. On peut egalement reconstituer la forme 
de plusieurs os participant a un articulation et visibles simul- 
tanement sur les images radiologiques (par exemple, le tibia et 
le femur si on s ' interesse au genou) , ou encore la forme de plu- 
25 sieurs fragments osseux d'un meme os. Le modele recherche doit, 
dans ce dernier cas, contenir les transformations rigides entre 
chaque contour surf acique en trois dimensions. Dans d 1 autre cas 
d ' application a plusieurs objets, il faut bien entendu connaitre 
les differents modeles statistiques et les eventuelle transforma- 

3 0 tions rigides ou elastiques entre eux. 

Bien entendu, la presente invention est susceptible de 
diverses variantes et modifications qui apparaitront a l'homme de 
l'art. En particulier, le noribre de vues en deux dimensions 
devant etre utilise pour la reconstitution depend de la precision 
35 souhaitee et de la cottplexite du modele. Dans certains cas, une 
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seule vue en deux dimensions pourra suffire. De plus, bien que 
1 1 invention ait ete decrite en relation avec une source de rayons 
X mobile, celle-ci pourra etre remplacee par plusieurs sources 
fixes, pourvu de respecter la contrainte d'dbtenir des images en 
5 deux dimensions dans un merne referentiel. En outre, la mise en 
oeuvre de l f invention fait bien entendu appel a des techniques de 
traitetnent numerique d' images dont la realisation pratique est a 
la portee de l ! homme du metier a partir des indications fonction- 
nelles donnees ci-dessus et dans les publications citees en refe- 
10 rences. 
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REVKNDICATIONS 

1. Procede de reconstitution d'une image en trois 
dimensions represent ant les contours surfaciques d'au inoins un 
objet (1), a partir d ! au moins une vue en deux dimensions de cet 
objet prise aux rayons X, caracterise en ce qu'il consiste a : 

5 determiner la position de la source (7) de prise de 

vues dans un referentiel de reference ; 

selectionner un modele predefini constituant une forme 
moyenne (21) de 1' objet ; et 

de fagon iterative jusqu'a ce que les contours du 
10 modele soient tels que les ecarts, entre des rayons de retropro- 
jection des contours de 1' image en deux dimensions depuis la 
source et la surface du modele, soient minimaux : 

selectionner une orientation et une position du modele 
dans le referentiel de reference, puis 
15 selectionner une deformation du modele pour modifier 

ses contours en trois dimensions. 

2. Procede selon la revendication 1, caracterise en ce 
que le modele est bbtenu a partir d'une population d ! objets pour 
laquelle on recherche la correspondance statistique commune a 

2 0 tous les dbjets pour determiner une forme moyenne et les deforma- 
tions principales par rapport a cette forme moyenne, de fagon a 
disposer d'au moins un modele statistique. 

3 . Procede selon la revendication 2 , caract§ris6 en ce 
que les etapes de selection iteratives consistent a faire subir 

2 5 au modele statistique, successivement, une transformation rigide 

modifiant sa position et/ou son orientation et une deformation 
non- rigide modifiant ses contours surfaciques. 

4. Procede selon 1'une quelconque des revendi cat ions 1 
a 3, caracterise en ce que les contours de 1' image en deux dimen- 

3 0 sions sont obtenus automat iquement en pro jet ant le modele dans le 

plan de l 1 image en deux dimensions, et en deformant les contours 
projetes de fagon a les faire coincider avec les points de fort 
gradient en niveaux de gris de l 1 image en deux dimensions. 
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5. Precede selon la revendication 4, caracterise en ce 
que la determination automatique des contours de l 1 image en deux 
dimensions est effectuee de fagon iterative, chaque iteration 
etant intercalee entre deux iterations successives des etapes de 

5 selection. 

6. Procede selon l'une quelconque des revendications 1 
a 5, caracterise en ce qu'il consiste a determiner, dans le refe- 
rentiel de reference, des coordonnees en trois dimensions de 
points de l'objet, de fagon a disposer de points de reference 

10 supplementaires pour les etapes de selection iteratives de posi- 
tion, orientation, et deformation. 

7. Procede selon l f une quelconque des revendications 1 
a 6, caracterise en ce qu'il consiste a utiliser plusieurs images 
en deux dimensions pour lesquelles les positions respectives de 

15 la source de prise de vues sont toutes determinees dans le refe- 
rentiel de reference, et a effectuer les etapes de selections 
iteratives en tenant compte des rayons de retroproj ection des 
contours de toutes les images en deux dimensions. 

8. ProcSde selon la revendication 7, caracterise en ce 

2 0 que le ncnibre d f images utilise est fonction de la precision 

souhaitee . 

9. Procede selon l ! une quelconque des revendications 1 
a 8, caracterise en ce que la surface du modele est constitute 
d' elements de triangle, lesdits e carts etant mesures par rapport 

25 a des points de certaines aretes const ituant des generateurs du 
contour en trois dimensions. 

10. Procede selon l f une quelconque des revendications 1 
a 9, caracterise en ce qu'il est applique a la reconstitution des 
contours surfaciques de plusieurs objets lies entre eux par des 

3 0 relations de transformation rigide et/ou elastique. 

11. Procede selon l'une quelconque des revendications 1 
a 10, caracterise en ce qu'il est applique a la reconstitution 
d ! images d'os. 
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12. Systeme de traitement d 1 images, caracterise en ce 
qu'il comporte des moyens pour la mise en oeuvre du precede selon 
l ! une quelconque des revendications 1 a 11. 
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